Responsible and Regulatory Conform Machine Learning for Medicine: A Survey of Challenges and Solutions

Machine learning is expected to fuel significant improvements in medical care. To ensure that fundamental principles such as beneficence, respect for human autonomy, prevention of harm, justice, privacy, and transparency are respected, medical machine learning systems must be developed responsibly. Many high-level declarations of ethical principles have been put forth for this purpose, but there is a severe lack of technical guidelines explicating the practical consequences for medical machine learning. Similarly, there is currently considerable uncertainty regarding the exact regulatory requirements placed upon medical machine learning systems. This survey provides an overview of the technical and procedural challenges involved in creating medical machine learning systems responsibly and in conformity with existing regulations, as well as possible solutions to address these challenges. First, a brief review of existing regulations affecting medical machine learning is provided, showing that properties such as safety, robustness, reliability, privacy, security, transparency, explainability, and nondiscrimination are all demanded already by existing law and regulations - albeit, in many cases, to an uncertain degree. Next, the key technical obstacles to achieving these desirable properties are discussed, as well as important techniques to overcome these obstacles in the medical context. We notice that distribution shift, spurious correlations, model underspecification, uncertainty quantification, and data scarcity represent severe challenges in the medical context. Promising solution approaches include the use of large and representative datasets and federated learning as a means to that end, the careful exploitation of domain knowledge, the use of inherently transparent models, comprehensive out-of-distribution model testing and verification, as well as algorithmic impact assessments

Calibration by differentiation – Self‐supervised calibration for X‐ray microscopy using a differentiable cone‐beam reconstruction operator

High‐resolution X‐ray microscopy (XRM) is gaining interest for biological investigations of extremely small‐scale structures. XRM imaging of bones in living mice could provide new insights into the emergence and treatment of osteoporosis by observing osteocyte lacunae, which are holes in the bone of few micrometres in size. Imaging living animals at that resolution, however, is extremely challenging and requires very sophisticated data processing converting the raw XRM detector output into reconstructed images. This paper presents an open‐source, differentiable reconstruction pipeline for XRM data which analytically computes the final image from the raw measurements. In contrast to most proprietary reconstruction software, it offers the user full control over each processing step and, additionally, makes the entire pipeline deep learning compatible by ensuring differentiability. This allows fitting trainable modules both before and after the actual reconstruction step in a purely data‐driven way using the gradient‐based optimizers of common deep learning frameworks. The value of such differentiability is demonstrated by calibrating the parameters of a simple cupping correction module operating on the raw projection images using only a self‐supervisory quality metric based on the reconstructed volume and no further calibration measurements. The retrospective calibration directly improves image quality as it avoids cupping artefacts and decreases the difference in grey values between outer and inner bone by 68–94%. Furthermore, it makes the reconstruction process entirely independent of the XRM manufacturer and paves the way to explore modern deep learning reconstruction methods for arbitrary XRM and, potentially, other flat‐panel computed tomography systems. This exemplifies how differentiable reconstruction can be leveraged in the context of XRM and, hence, is an important step towards the goal of reducing the resolution limit of in vivo bone imaging to the single micrometre domain

On the Benefit of Dual-domain Denoising in a Self-supervised Low-dose CT Setting

Computed tomography (CT) is routinely used for three-dimensional non-invasive imaging. Numerous data-driven image denoising algorithms were proposed to restore image quality in low-dose acquisitions. However, considerably less research investigates methods already intervening in the raw detector data due to limited access to suitable projection data or correct reconstruction algorithms. In this work, we present an end-to-end trainable CT reconstruction pipeline that contains denoising operators in both the projection and the image domain and that are optimized simultaneously without requiring ground-truth high-dose CT data. Our experiments demonstrate that including an additional projection denoising operator improved the overall denoising performance by 82.4-94.1%/12.5-41.7% (PSNR/SSIM) on abdomen CT and 1.5-2.9%/0.4-0.5% (PSNR/SSIM) on XRM data relative to the low-dose baseline. We make our entire helical CT reconstruction framework publicly available that contains a raw projection rebinning step to render helical projection data suitable for differentiable fan-beam reconstruction operators and end-to-end learning.Comment: This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessibl

Ultralow‐parameter denoising: trainable bilateral filter layers in computed tomography

Background Computed tomography (CT) is widely used as an imaging tool to visualize three-dimensional structures with expressive bone-soft tissue contrast. However, CT resolution can be severely degraded through low-dose acquisitions, highlighting the importance of effective denoising algorithms. Purpose Most data-driven denoising techniques are based on deep neural networks, and therefore, contain hundreds of thousands of trainable parameters, making them incomprehensible and prone to prediction failures. Developing understandable and robust denoising algorithms achieving state-of-the-art performance helps to minimize radiation dose while maintaining data integrity. Methods This work presents an open-source CT denoising framework based on the idea of bilateral filtering. We propose a bilateral filter that can be incorporated into any deep learning pipeline and optimized in a purely data-driven way by calculating the gradient flow toward its hyperparameters and its input. Denoising in pure image-to-image pipelines and across different domains such as raw detector data and reconstructed volume, using a differentiable backprojection layer, is demonstrated. In contrast to other models, our bilateral filter layer consists of only four trainable parameters and constrains the applied operation to follow the traditional bilateral filter algorithm by design. Results Although only using three spatial parameters and one intensity range parameter per filter layer, the proposed denoising pipelines can compete with deep state-of-the-art denoising architectures with several hundred thousand parameters. Competitive denoising performance is achieved on x-ray microscope bone data and the 2016 Low Dose CT Grand Challenge data set. We report structural similarity index measures of 0.7094 and 0.9674 and peak signal-to-noise ratio values of 33.17 and 43.07 on the respective data sets. Conclusions Due to the extremely low number of trainable parameters with well-defined effect, prediction reliance and data integrity is guaranteed at any time in the proposed pipelines, in contrast to most other deep learning-based denoising architectures

Noise2Contrast: Multi-Contrast Fusion Enables Self-Supervised Tomographic Image Denoising

Self-supervised image denoising techniques emerged as convenient methods that allow training denoising models without requiring ground-truth noise-free data. Existing methods usually optimize loss metrics that are calculated from multiple noisy realizations of similar images, e.g., from neighboring tomographic slices. However, those approaches fail to utilize the multiple contrasts that are routinely acquired in medical imaging modalities like MRI or dual-energy CT. In this work, we propose the new self-supervised training scheme Noise2Contrast that combines information from multiple measured image contrasts to train a denoising model. We stack denoising with domain-transfer operators to utilize the independent noise realizations of different image contrasts to derive a self-supervised loss. The trained denoising operator achieves convincing quantitative and qualitative results, outperforming state-of-the-art self-supervised methods by 4.7-11.0%/4.8-7.3% (PSNR/SSIM) on brain MRI data and by 43.6-50.5%/57.1-77.1% (PSNR/SSIM) on dual-energy CT X-ray microscopy data with respect to the noisy baseline. Our experiments on different real measured data sets indicate that Noise2Contrast training generalizes to other multi-contrast imaging modalities

Innovation via net : the role of relationship between science and business in transfer of knowledge and technology. Vol. 2, Stakeholders point of view

Ausgehend von der Tatsache, dass die Umsetzung der Ergebnisse aus der Grundlagenforschung in die Praxis noch großes Verbesserungspotential aufweist, wurde im Projekt PATE eine Analyse des Netzwerkes im Bereich Material- und Werkstoffwissenschaften durchgeführt. Die Datenerhebung gestaltete sich, wie erwartet, als äußerst schwierig. Viele Akteure waren nicht bereit oder in der Lage, über ihre Netzwerkverbindungen direkt Auskunft zu geben. Diese Verbindungen gehören zum spezifischen Know-how eines jeden Unternehmens und werden daher nicht nach außen kommuniziert. Allerdings waren die Akteure bereit, Auskunft über die genutzten Wege und Mittel beim Wissens-bzw. Technologietransfer zu geben. Um Einblick in die Funktion des Innovationssystems, die fördernden und hemmenden Faktoren des Transfers zu gewinnen, wurden die Akteure dieses Transfers befragt, welche Mittel sie einsetzen, um Erkenntnisse überhaupt nutzbar zu machen. Hierbei wurde sowohl nach den Mechanismen des Transfers als auch nach dem Funktionieren der Kooperation und Kommunikation gefragt. Welche Instrumente nutzen Technologietransferstellen, welche sind den Akteuren aus Wissenschaft und Industrie bekannt, wie funktioniert der Transfer (über Netzwerke, über Köpfe, über Technologietransferstellen, Patentbörsen etc.)? Wo werden in der Praxis Hemmnisse und fördernde Faktoren gesehen. Welche Motivation haben Forschende und die Anwender der Forschungsergebnisse sich um einen Technologietransfer zu bemühen? Existieren in der Praxis die häufig postulierten Sprachbarrieren tatsächlich? Ziel der durch die DFG - geförderten Projekte PATE und MATRIX-OOW/Dia war es, Erkenntnisse darüber zu gewinnen, wie die Verbesserung und Beschleunigung des Transfers von Ergebnissen der Grundlagenforschung in die industrielle Anwendung erreicht werden kann. Beide Untersuchungen wurden im Bereich der Materialwissenschaften durchgeführt. Beziehungen und Zusammenarbeit zwischen Wissenschaftlern und Industrievertretern wurden empirisch untersucht. Im Rahmen einer Netzwerkanalyse konnten die Kommunikations- und Kooperationsbeziehungen, die zwischen Forschungseinrichtungen und Unternehmen sowie Transfereinrichtungen bestehen, wie bereits in Band 1 dieses Berichtes dargestellt, abgebildet werden. Darüber hinaus wurden Leitfadeninterviews mit 26 Wissenschaftlern aus dem DFG-Schwerpunktprogramm HAUT, 14 Industrievertretern aus dem Bereich der Werkstoff- und Materialwissenschaften und 15 Transferstellen in Niedersachsen und Baden-Württemberg geführt, die darauf abzielten, das Erfahrungswissen der unterschiedlichen Akteure um den Transfer von Grundlagenwissen und Forschungsergebnissen im eng umgrenzten Bereich der Material- und Werkstoffwissenschaften zu erfassen. Es wurde ein guter Einblick in den Prozess des Technologietransfers im Hochtemperaturbereich gewonnen. Im Ergebnis zeigt sich, dass es für die Verbesserung des Technologie-monitorings und -transfers in Deutschland einige Anknüpfungspunkte im Hinblick auf die Transferierbarkeit der Ergebnisse gibt. Dabei muss zwischen Großunternehmen und KMU unterschieden werden, wobei Letztere einen größeren Bedarf an externer Unterstützung postulieren. Es zeigt sich in der Netzwerkanalyse, dass Technologietransferstellen im erhobenen Netzwerk – im Gegensatz zum theoretischen Modell – keine zentrale Position einnehmen. Auch in den Interviews mit Akteuren aus Wissenschaft und Wirtschaft spiegelte sich die nicht zentrale Rolle der Technologietransferstellen durch Zurückhaltung gegenüber diesen oder Unkenntnis über sie wider. Eine Vermittlung von Wissen oder Forschungsergebnissen durch Makler, im Projekt als so genannte Verwertungsagenten bezeichnet, wird von den Akteuren als zielführend angesehen. Die Installation eines Verwertungsagenten, erscheint angesichts dieser Ergebnisse sinnvoll, sie ist allerdings an bestimmte Voraussetzungen gebunden. Um als Vermittler effektiv arbeiten zu können, werden besondere Kompetenzen gefordert. Dies gilt gerade auch in hoch spezialisierten Bereichen wie den Hochtemperaturanwendungen. Insbesondere zeigt sich, dass neben den reinen wissenschaftlichen Fachkompetenzen Vertrauen und Diskretion im Hinblick auf Schutzrechte und Patentproblematik von hoher Bedeutung sind. Da an eine Person als „Makler“ sehr hohe sowohl fachliche als auch personelle Anforderungen gestellt werden, wird die Suche nach einer geeigneten Person als sehr schwierig eingeschätzt. Folgerichtig wurde im Projekt MATRIX ein Werkzeug pilotiert, das einem Verwertungsagenten die Aufgabe erheblich zu erleichtern verspricht. Die Einschätzung der Akteure zu diesem Instrument wird berichtet. Das Anforderungsprofil für einen Verwertungsagenten wird vorgestellt. Ein mögliches Förderinstrument wird vorgeschlagen